#discrete diffusion

5 篇

Hierarchical Continuous Diffusion Language Models

层次连续扩散语言模型

🧭 连续扩散语言模型 · 离散连续耦合去噪

University of Illinois Urbana-Champaign · Amazon.com, Inc.

HC-DLM 将离散 token 生成与连续潜变量去噪耦合，在 Sudoku/Countdown/LM1B 上超过匹配规模扩散基线

📌 工作参考价值（4 点）

面向需要全局约束或双向推理的文本生成任务（如广告文案、商品标题、搜索 query 改写、推荐理由），可考虑扩散式生成替代自回归，便于多步修改并满足关键词、违禁词、风格等多约束。
可借鉴 HC-DLM 的“离散 token 读出并反馈为脚手架”机制：在生成式推荐中使用连续向量表示全局用户意图/会话状态，每步读出候选 item 或 Semantic ID 后反馈调整潜变量，保持序列内依赖，避免并行解码时 token 独立采样的问题。
训练目标基于 token 似然的变分下界，把离散生成目标与连续去噪过程对齐，比将连续上下文简单附加到离散链更稳定；实现时可在每步去噪后做 token readout 作为下一步条件，降低训练与推理不一致。
注意扩散模型多步去噪带来的推理延迟，适合离线批量生成或对延迟不敏感的约束复杂规划场景（如选品组合、活动文案库生成），不适合超低延迟在线实时推荐。

LLM | 2026-09-30 | HF Daily | score 7/10

Simplex Relaxation for Discrete Diffusion

离散扩散模型的单纯形松弛方法

🧭 离散扩散生成模型优化

NTU Singapore · The University of Tokyo · Purdue University · Institute for Advanced Intelligence and Computing (IAIC), A*STAR · Centre for Frontier AI Research (CFAR), A*STAR

通过 Dirichlet-categorical 增广保持均匀扩散边际不变，导出 Rao-Blackwell 反向桥目标与采样器

📌 工作参考价值（4 点）

生成式推荐（如 Semantic ID 序列生成）中，离散扩散模型可借鉴 Simplax 的辅助连续变量增广：不改变离散 corruption 过程，复用现有离散 token 的 embedding 和 denoiser 架构，同时用 Dirichlet 增广获得 Rao-Blackwell 化的目标，降低训练方差。
若在 query 推荐/搜索词生成里使用离散扩散，可尝试保留 corrupted categorical state 作为网络输入，仅通过辅助 simplex 变量改善反向桥估计，工程上无需重构输入管道。
该方法的 open-source 思路适合需要更稳定离散扩散训练的场景，例如生成商品标题、push 文案等短文本，可参考其在 perplexity–entropy 权衡上的改善。
在数据稀疏、需要跨 clue 密度泛化的结构化生成任务（如补全属性、约束推荐解释）中，其 Sudoku 实验表明用高线索密度训练可泛化到最低可解密度，类似策略可用于可控性要求高的搜索推荐文本生成。

Other | 2026-08-10 | HF Daily | score 6/10

discrete diffusion Dirichlet augmentation Rao-Blackwellization categorical generation text generation Sudoku

DiffusionGemma Technical Report

DiffusionGemma：基于 Gemma 4 微调的离散扩散高速文本生成模型

🧭 文本扩散模型 · 高速块生成 ★ 深度解读

Google DeepMind

通过微调 AR 模型结合 RL 与采样器蒸馏，实现离散扩散文本生成，速度达 ~1500 TPS，远超自回归模型

📌 工作参考价值（4 点）

块级并行生成降低延迟：在需要实时响应的对话或文案生成场景中，可直接借鉴 DiffusionGemma 的块扩散范式，采用 256 token 并行去噪的方式代替逐 token 解码，大幅降低单用户服务延迟，尤其适合低并发、低批量的推理场景。
RL 与采样器蒸馏联合训练可压缩推理步数：对生成式推荐或搜索改写等系统，可设计类似的在线训练流程（SD·RL），将奖励最大化与推理步数压缩作为联合目标，使模型在保持生成质量的同时大幅减少前向次数，提升吞吐。
自适应停止机制动态节省算力：对于不同复杂度的任务（如简单商品描述 vs. 复杂推荐理由），可以引入基于预测熵的自适应停止策略，对简单任务早期停止去噪，避免固定步数浪费计算，实现“按需计算”。
保留 AR 能力实现混合解码：在 Agent 系统中，可根据延迟要求和任务复杂度动态切换扩散模式或 AR 模式，或混合使用两者，平衡生成速度与质量，为请求路由策略提供新的自由度。

LLM | 2026-07-30 | HF Daily | score 8/10

discrete diffusion text generation MoE RL+distillation inference optimization adaptive stopping

VGB for Masked Diffusion Model: Efficient Test-time Scaling for Reward Satisfaction and Sample Editing

掩码扩散模型的奖励引导重掩码采样：高效测试时缩放与样本编辑

🧭 离散扩散模型推理缩放·奖励引导采样

Georgia Tech · UCSD

将回溯马尔可夫链扩展到掩码扩散模型，通过奖励引导的unmask/remask实现二次复杂度的推理时优化，理论上优于best-of-N

📌 工作参考价值（4 点）

将奖励引导的重掩码迁移到广告文案、搜索词等序列生成任务中，利用可微分的过程奖励信号对生成样本进行局部编辑，避免全量重新生成，降低推理成本。
在电商推荐Agent的决策序列生成中，可将业务指标（点击率、转化率）转化为奖励，通过MDM-VGB在线修复低质决策路径，提升推荐效果。
理论上的二次复杂度保证，相比best-of-N采样能有效防止错误累积，适合高吞吐在线推理场景，工程实现可参考其unmask/remask动作选择逻辑。
若生成任务存在硬约束（如query必须包含关键词、长度限制），可将约束作为可验证奖励，借鉴该方法在测试时生成满足约束的候选，无需重新训练模型。

LLM | 2026-06-26 | cs.LG | score 6/10

masked diffusion model test-time scaling reward-guided generation sample editing backtracking discrete diffusion

A2D2: Fine-Tuning Any-Length Discrete Diffusion for Adaptive Decoding

A2D2：任意长度离散扩散微调实现自适应解码

🧭 离散扩散模型 · 奖励微调与自适应生成

University of Pennsylvania · Georgia Institute of Technology

提出联合优化插入/去掩码策略与质量推理调度的任意长度离散扩散奖励微调框架。

📌 工作参考价值（4 点）

将推荐列表生成建模为离散扩散过程，利用A2D2的奖励微调直接优化业务指标（如点击率），无需依赖代理奖励模型，理论上保证收敛到目标分布。
自适应解码中的质量调度机制可动态控制推荐列表长度与质量平衡，例如在电商场景中根据查询意图自动调整召回数量，提升效率与精度。
AJD损失提供了最优路径测度的训练目标，可用于训练生成式检索模型，使生成的item序列更贴合用户偏好分布，减少曝光偏差。
推理时自适应调整插入/去掩码的调度策略，可迁移到Agent的响应生成中，根据对话状态动态决定生成内容的详细程度或步骤数。

Other | 2026-06-11 | cs.LG | score 7/10

discrete diffusion reward fine-tuning any-length generation adaptive decoding optimal transport